스테이빌리티 AI가 악기 및 효과음 생성에 특화된 잠재 확산(Latent Diffusion) 모델인 스테이블 오디오 3(Stable Audio 3)를 공개했습니다. 소형 및 중형 모델의 가중치가 오픈소스로 공개되었으며, 중형 모델은 8GB VRAM을 탑재한 일반 소비자용 GPU에서도 구동될 만큼 가볍고 효율적입니다. 특히 5초 길이의 오디오 생성 벤치마크에서 기존 모든 오픈소스 모델을 뛰어넘는 최고 수준의 성능을 기록한 점이 가장 큰 의의입니다.
Zyphra가 AMD 인스틴트 MI300 클러스터에서 처음부터 학습된 MoE 아키텍처 기반의 'ZAYA1-8B' 모델을 공개했습니다. 10억 개 미만의 활성 파라미터를 활용함에도 불구하고 복잡한 추론, 수학, 코딩 벤치마크에서 자원 대비 최고 수준의 지능 밀도를 달성하며 Claude 4.5 Sonnet이나 Mistral-Small-4-119B 등 훨씬 큰 모델들을 능가하거나 필적하는 성능을 보여줍니다.
이 튜토리얼에서는 GPU 가속과 PrismML의 최적화된 GGUF 배포 스택을 활용해 1비트 대형 언어 모델인 Bonsai를 효율적으로 구동하는 방법을 다룹니다. 1비트 양자화가 어떻게 메모리 효율성을 극대화하여 가벼우면서도 성능 좋은 모델 배포를 가능하게 하는지 설명합니다. 나아가 기본 추론, 벤치마크, 멀티턴 챗봇, JSON 및 코드 생성, OpenAI 호환 서버 모드, RAG 워크플로우 등 실제 사용 사례를 통해 Bonsai의 실전 활용도를 보여줍니다.